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У статті запропоновано використання структурного опису графічних об'єктів для актуальної задачі ана- 
лізу траєкторій. Проаналізовано ряд сучасних підходів аналізу траєкторій, у ході чого обрано метод на основі 
моделі нейронної мережі Старі Сопуоїийопаї МебмогК5 та алгоритму З5иїїх Тгее СІцзіегіп2. Описано засоби оп- 
тимізації обчислювальної складності даного нейромережевого підходу. Нейронну мережу адаптовано до аналі- 
зу структурного опису, продемонстровано перевагу даного підходу. 
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Вступ 

Структурний опис графічних об'єктів 
використовується для підвищення деталі- 
зації опису неоднорідних об'єктів, а також 
для прискорення класифікації комплексних 
об'єктів (1, 6, 9, 11, 121. 

У даній роботі пропонується вико- 
ристати структурний шопис графічних 
об'єктів для задачі аналізу форми траєкто- 
рій руху об'єктів у відеопослідовності. 

Постановка задачі 

Метою даного дослідження є розроб- 
ка удосконаленого методу побудови та 
аналізу форми траєкторій руху об'єктів. 

Для досягнення мети роботи необ- 
хідно вирішити наступні задачі: 

1. Обрати та описати метод структурного 
опису графічних об'єктів. 
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2. Обрати сучасний метод класифікації 
графічних об'єктів та адаптувати його 
до роботи із структурним описом. 

Структурний опис об'єктів у 
відеопослідовності 
Найбільш простий спосіб для виді- 
лення рухомих об'єктів - використовувати 
абсолютну різницю двох послідовних кад- 
рів. При русі об'єкта яскравість окремих 
пікселів змінюється, що веде до великої 
різниці в яскравості одного пікселя на 
двох послідовних кадрах, ніж це може бу- 
ти від шуму: 
1,0 (х У)2Т 
М; (х, у) о 10,0 (м у) «ТТ 
де 


рік, у) я ЩО У) З Га-ту (5 У), 
де Ц(Х, у) - і-й кадр/зображення відео- 


послідовності, М/(х, у) - маска руху. 
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Пікселі, маски руху, для яких об'єд- 
нуються у зв'язні області: 


ду - (ріМі, Ді я ри руд з 
зу рі руЄЇіз, УРЕЇіз, М(р) - 1, рей), 

де різ (ху); - і-ий піксель з координа- 
тами (ху), Оє0, О -- множина зв'язних об- 
ластей, 1; - шлях, що з'єднує пікселі р. 1 рі. 

Дані зв'язні області повинні бути пов- 
ними, тобто володіти такою властивістю, 
що не існує пікселів, додавання яких роз- 
ширює дану область: 


-чЗрк (дк о рю) є 0. 


Позначимо К; прямокутник, орієнто- 
ваний вздовж сторін кадру, описаний на- 
вколо області 0. Внаслідок того, що різні 
частини об'єкта можуть рухатися з різною 
швидкістю, зображення цільового об'єкта 
може не покриватися однією зв'язаною об- 
ластю руху. Для того, щоб виділити на зо- 
браженні область, зайняту цільовим об'єк- 
том, необхідно об'єднати області руху, які 
знаходяться поруч одна з одною. Для 
об'єднання областей використовуються 
прямокутники К.;, описані навколо них. 
Проводиться повний перебір усіх пар да- 
них прямокутників. Якщо пара даних пря- 
мокутників перетинається або знаходить- 
ся близько одна від одної, вони об'єдну- 
ються, множина прямокутників і їх пар 
оновлюється й процедура об'єднання 
триває: 


з(КАБАВуЧ(КОК)), 


де К-/К./ - множина прямокутників, 
описаних навколо областей руху. 

Дана процедура повинна бути здійс- 
нена кілька разів, оскільки її одноразове 
виконання не дозволяє об'єднати всі облас- 
ті, що відносяться до одного об'єкта. Екс- 
периментально встановлено, що досить 
п'яти ітерацій. 

Після проведення процедури об'єд- 
нання областей руху, кожній виділеній об- 
ласті буде відповідати окремий об'єкт, що 
рухається (або група об'єктів). 
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Області руху, ініційовані рухом ці- 
льових об'єктів, мають повторюваний від 
кадру до кадру (тобто в часі) характер. Да- 
на властивість областей руху, які виклика- 
ються рухом цільових об'єктів, використо- 
вується для фільтрації помилкових цілей. 
Цільовому об'єкту, що рухається, повинні 
відповідати приблизно однакові за розмі- 
рами області руху на послідовності кадрів. 
Виділення даних часових послідовностей 
з областей руху на послідовному ряді кад- 
рів дозволяє знайти області руху, які най- 
більш імовірно пов'язані з цільовим об'єк- 
том, і відфільтрувати області руху, які сто- 
суються шуму і змін фону. 

Процедура виділення даних часових 
послідовностей областей руху виглядає 
наступним чином: 


т 
9| - т З то. то Я МК -- 


к 
-1.мур«кя мото 
1/4 
сао 
а Ісент) 


де 0) - іта область руху на і-ому 
кадрі, 9) - І-та послідовність областей ру- 
ток тоні 

Їє М Іст) 

дві області руху на двох послідовних кад- 
рах досить сильно перетинаються і мають 
схожі розміри. Для розрахунку схожості 
між областями руху 0, 0: використову- 
ється вираз: 


ху, 0 означає, що 


| 25(0 002) 
ЗОЗ, 


де 4 - міра подібності між областями 
О, 02, 5(0) - площа області 0. 

Для ідентичних областей (у разі, як- 
що 0) - 0.) 4 - І, якщо порівнювані об- 
ласті не перетинаються - д - 0. Для до- 
тримання умови 20; 2 0: було використано 
виконання співвідношення 4 2 0,7. 

На рис. представлена блок-схема 
процесу формування часових послідов- 
ностей областей руху. 
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Рис. 1. Блок-схема процесу формування 
часових послідовностей областей руху 


Кожній часовій послідовності, що є 
довшою, ніж заданий поріг, встановлюєть- 
ся, відповідно, об'єкт для відстеження. 

Як правило, зображення розгляда- 
ється як двовимірна дискретна обмежена 
функція. Зазначене подання зображення 
було використано для виділення областей 
руху на основі абсолютної різниці двох 
кадрів. 

Для вирішення задачі виділення ру- 
хомих об'єктів нас влаштовує також пред- 
ставлення зображення у вигляді множини 
структурних елементів. Кожен структур- 
ний елемент відповідає певній області зо- 
браження, має координати у площині зо- 
браження й дескриптор, що описує харак- 
теристики яскравості й текстурні власти- 
вості даної області. Просторові й фазові 
відносини між структурними елементами 
визначають структуру зображення Й зо- 
бражень окремих об'єктів. При викорис- 
танні даного подання зображень, окремим 
об'єктам відповідають підмножини струк- 
турних елементів. Таким чином, завдання 
виділення цільових об'єктів зводиться до 
пошуку відповідних підмножин структур- 
них елементів. 

Оскільки кожен структурний еле- 
мент має певні координати на зображенні, 
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то всі вони мають властивість локальнос- 
ті, тобто мають певне місце розташування. 
Окремим об'єктам на зображенні відпові- 
дають підмножини І-структурних елемен- 
тів множини Е (І), що випливає з визна- 
чення структурного елемента й властивос- 
ті локалізації. Таким чином, кожен об'єкт 
на зображенні описується множиною 
структурних елементів: 


ок - (ез: (ху, уз) Є 21)», 


де 0; - область зображення, яку зай- 
має К-тий об'єкт. 

Відповідно для зображення Б, опис 
об'єкта, що належить відеопослідовності, 
буде виглядати наступним чином: 


Ок з (в: У/(х,, ур)! Є 0), 


а опис об'єкта на всій відеопослідовності 
описується виразом: 


Ок З (ву: У/(ху, уз)! Є дз, 


що з точністю до наявності індексу кадру 
збігається з виразом для опису об'єкта на 
окремому кадрі. Тобто, якщо на окремому 
кадрі відеопослідовності для об'єкта ви- 
значено його опис у вигляді множини 
структурних елементів, то визначено час- 
тину опису даного об'єкта на наступному 
кадрі. 

При русі об'єктів, взаємне розташу- 
вання сусідніх структурних елементів, що 
відносяться до одного об'єкта, як правило, 
змінюється незначним чином, оскільки 
зовнішній вигляд об'єктів на сусідніх кад- 
рах змінюється несуттєво. 

Аналіз форми траєкторій руху 
об'єктів 

Для ефективної ідентифікації форм 
траєкторій руху, у даній роботі запропо- 
новано використання нейронної мережі 
графів  Старр  Сопуоїийопа! | Меїмогк5 
(ССМ). 

Важливою частиною нейронної архі- 
тектури є побудова нейронних мереж з ви- 
користанням малої кількості обчислюваль- 
них ресурсів. Архітектури, які розроблені 
для автоматизованого аналізу, зарекомен- 
дували себе набагато краще за тих, які за- 
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сновані на ручному аналізі в області роз- 

пізнавання та класифікації на зображеннях. 

ССМ широко використовувана для аналізу 

нерегулярних даних, таких як дані з соці- 

альних мереж, біологічні дані. Як правило, 

є два способи визначення ССМ: 

1. Метод спектральної області - моделює 
представлення у графі перетворення 
Фур'є на основі розкладання, але даний 
підхід є ресуреномістким. 

2. Метод вузлового домену - безпосе- 
редньо реалізує ССМ на графічних вуз- 
лах та їх сусідах, однак змоделювати 
глобальну структуру таким чином 
складно. 

Для покращення роботи ССМ, роз- 
роблено спеціальні механізми уваги |2, 3, 
13, 14). Перевагою таких механізмів є те, 
що вони обирають інформацію, яка є від- 
носно критичною, з усіх джерел. Тим не 
менш, дана робота відрізняється тим, що 
ми обчислюємо взаємодію між вузлами, 
беручи за основу різноманітні семантичні 
дані для побудови динамічного графа. 

У роботі |4| було описано алгоритм 
різниць трьох кадрів, але у нашій роботі ми 
вдосконалюємо даний алгоритм введенням 
просторово-контекстної моделі. Відповід- 
но до трикадрового різнісного методу, Д» - 
це мета моніторингу. Граф довіри кожного 
кадру С(х) у відео отриманий за допомо- 
гою алгоритму З5иїйх Тгее СПизіегіпеє (5ТС): 


С(х) е Р(Х10) 

Р(х, с(2)10)с- 
с(х)єХс 
і. У Рок 1 с(2, ОУР(С(Д 10). 


с(2)єхс 


Беручи за основу просторовий кон- 
текст, умовна ймовірність Р(х|с(7),О) - це 
просторове відношення між ціллю та за- 
лишковою сценою. Ми визначаємо інфор- 
мацію про просторовий контекст так: 


Х" з (с(2) з (Щ(2),2) | Є 0, (х)), 


де 2, (х) - це область, яка залиши- 
лась після виключення цілі, |2) - особли- 
вості зображення цілі в точці 2. Макси- 
мальною позицією довіри графа довіри у 
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просторовій області є цільова позиція 
кадру З /. 

УТС вводимо у метод трикадрової 
різниці. У процесі моніторингу цілі, її по- 
зиція відслідковується та прогнозується 
графом максимальної довіри в межах регі- 
ону. На основі трикадрового різницевого 
методу з об'єднанням Собеля та просторо- 
вим контекстним зв'язком встановлюється 
метод мультимодельного аналізу траєкто- 
рій руху об'єктів. 

Розглянемо проблему розпізнавання 
певних форм траєкторій як завдання кла- 
сифікації графів із послідовності графів 
сеї С, С», ... Ст/. Кожен граф позначає 
модель на певному етапі часу, а його вуз- 
ли та краї представляють складові моделі 
та найменші структурні елементи відпо- 
відно |5, 8, 10, 13). Надалі це завдання 
можна характеризувати як контрольовану 
навчальну задачу на даних графах, мета 
якої полягає в тому, щоб навчитися надій- 
но представляти С з ССМ та давати най- 
кращий прогноз класів дій. Тому будуємо 
цю ССМ на основі мережі зведених гра- 
фів, яка автоматично збирає модулі, що 
генерують графи для шарів на різних се- 
мантичних рівнях. Потім представляємо 
вибіркову і ефективну по використанні 
пам'яті стратегію пошуку. 

У нейронних мережах простір пошу- 
ку визначає, як нейронні стратегії будують 
нейронну мережу. Ми шукаємо в просторі, 
побудованому на множині ССМ модулів, 
щоб дослідити оптимальну комбінацію для 
динамічних графів на різних рівнях пред- 
ставлення. Наша ССМ є просторово- 
часовою, тож ми створюємо динамічні гра- 
фи на основі кореляції вузлів, представле- 
них різними функціональними модулями. 
Існують 2 типи кореляцій, які застосову- 
ються для побудови динамічного графа: 
кореляція структурного опису та кореляція 
часового представлення. 

Кореляція структурного опису за- 
снована на обчисленні просторових вузло- 
вих з'єднань. Для визначення надійності 
з'єднань вузлів застосовується нормалізо- 
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вана Гаусова функція на вузлах графа й 
кореляцією виступає індекс схожості: 


ефіпОод Я з) 


мі,) Є У, АБ(і,)) з у, еннаренно) птеВУСтЄтеуЇ 


де Аб(ї, )) - кореляційна оцінка між 
вузлами і та |, заснована на репрезентаціях 
пс) та (хі), б - перемноження матриць, 
ФІ) та ці - функції проєктування, які реалі- 
зовано через канально-згорткові фільтри. 

Таким чином, фіксується схожість 
між вузлами для побудови динамічного 
графа. 

Кореляція часового представлення є 
невід'ємною частиною побудови динаміч- 
ного графа. Хоча кореляція структурного 
представлення Й містить у собі найбільш 
інтуїтивні сигнали для топології графа, 
але ігнорування тимчасової кореляції мо- 
же призвести до втрати неявних з'єднань. 
Без цієї інформації важко сказати про точ- 
ний характер траєкторії руху. З точки зору 
фізичної структури, невеликий зв'язок мо- 
же бути зафіксовано між елементами 
структури різних рівнів, але між ними має 
бути встановлено співвідношення, а вклю- 
чення часової кореляції здатне полегшити 
цю задачу |5|. Визначимо простір пошуку, 
для цього перевизначаємо Х як послідов- 
ність графів. Дано фіксований граф І/, та 
характеристику /"(Х) з К-го шару, дістаємо 
вихідне положення /" "(Х) на К--І шарі з 
обраними нами функціональними 
модулями: 


рен Ю 


М 
У с МОДНОЮ, 
- уж Фк 

Тут, О- ваги мережі для К-го шару. 
М; позначає і-й функціональний модуль та 
оце, ЯКИЙ працює як параметр архітекту- 
ри на шарі К-/. Тоді завдання полягає у 
тому, щоб знайти набір параметрів аєк 
КХМ для мережі з К шарами, щоб а мінімі- 
зував втрати Ілаїа на даних валідації. 
Тобто: 


а" « агутіпі ана (0 (а), а). 
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Тут, 0 - це мережеві параметри, які 
поділяються між усіма підмережами та 
будуть вивчені на навчальному наборі 
даних. 

Висновки 

У статті запропоновано використання 
ССМ для класифікації форм рухів струк- 
турних елементів, що теоретично дозво- 
лить пришвидшити та збільшити ефектив- 
ність отримання інформації про рухи най- 
менших елементів. Ця задача є специфіч- 
ною, наприклад, при розпізнаванні рухів 
кінцівок людини, жестів. 

Для визначення траєкторії викори- 
стано метод трикадрової різниці, до якого 
пристосовано алгоритм 5ТС. Запропонова- 
но використати метод мультимодельного 
аналізу на основі оператора Собеля у поєд- 
нанні з просторовим контекстом, що дозво- 
лило швидко визначати траєкторії та аналі- 
зувати створені фігури руху. 

Розвитком даної роботи є реалізація 
даних методів та порівняльне дослідження 
ефективності із аналогічними сучасними 
методами. 
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КЕ5ОМЕ 


У.А. РіКаїіоу, М.5. КІутепКо 

Апаїузі5 ої Ше гауесіогу 5барез5 ої 
тоуїпе обіесія іп Ше уідео 5едиепсе уп 
и5е ої 58їгисіига! дебсгіріїоп 

Тре таїп ригровбе ої (Пі8 5шу 15 (0 еп- 
рапсе Ше де5сгірйоп ої реїегогепоця обіесіє 
ивіпе, 5(гисіита! де5сгірцоп апа аї5о (о Боо5і 
Фе сіаз5ійсацоп ої сотріех обіесів. Гі (Фіз 
рарег ме аге иц5іпеє 5ігисіигаї дезсгірйоп (о 
апаЇуге ігар)есіогу 5раре5 ої Ше обіесів іп а 
зедцепсе ої уїдео їтатез. 

Те еа5іе5і ау іо ехігасі пломіпе об- 
уесів 15 (Ю ц5е Ше аб5оїціе діНегепсе ої їмо 
зедиепна! їгатез. УУреп Ше обіесі 15 поміп5 
іп5іде Ше їгате, Ше ПеПиипя ої зресійс рі- 
хеї5 15 срапєїпе апа із срапєе 15 тіисПп 
тоге пойсеабіє Шап Їгопі поізе Ша 15 
сац5ед Бу сатега 5еп5ог. 

То штргоуе ідепійсайоп абішу, ме 
5поцід пог опіу спесК опе плоуїпе Їгабтепі 
ої Фе обіесі, бис а Ше Наєтепіз Ша аге 
агоцпа обіесі. Айег ме Гоцпа ай! Фе тоуїпеє 
їгаєтепі5 агойпа Ше обіесі, у/е сап десіде 
фас Феу аге Беіопеє (о її апа ме сап ипіе 
Фепі їй їс То до Фіз ме 5ресіїу ап іп5- 
апсе ої гесіапєїіе агоцта обіесі апа оп еуегу 
їегайоп, ме до улдеп її. Ехрегітепі5 5ПОМ/ 
фас уе 5роціа таке пої птоге Шап Пуе їега- 
йопз8 (о ТиПу 5ресіїу Ше едее5 ої Ше зресійс 
обіесі. Бог сиг зресійс обіесі ме 5роцій єєї 
аїтобі 5ітііаг плоуіпє, ітаєтепіз 50 Шеу сап 
Бе Феп Бегед Їгот сатега пої5е5 апа Баск- 
ягоцта сПапеез. 

Аз еуегу 58ігисіита! еЇетепі Па5 115 омуп 
Іосайоп, ууе сап герге5епі Фет а5 5иб5ігис- 
сиге8 ої Бієдег обіесіє. Пи із мау емегу об- 
зуесі оп Фе їгате ПБаз 15 омуп БипсП ої 5ігис- 
сига! еЇетепіз. 

То еНїсіепйу ідепаТу (га)єсіогу Гогіт5 
ууе десідед іо и5е Старб Сопуоіипопа! Мей- 
га! Мебуогк5. ТПе таїп рагі ої (різ пейгаї 
пебуогк агспікесіиге 15 їо риті 16 ип5іпє Фе 
1е55 сотриїайопа! 50игсе5. Ме Пауе аїзо іт- 
ргоусд а 3-їтате5 аїсогіфт Бу адапе 
зрацаї-сопіехі тодеі (о її. Апа бита а (ги5і 
єгарі Їог еасі уідео їгате и5іпе 5иїйх Тгее 
СТизіегіпе аЇсогірт. 
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